给定数千种同样准确的机器学习(ML)模型,用户如何在其中选择?最近的ML技术使领域专家和数据科学家能够为稀疏决策树生成完整的Rashomon设置,这是一套几乎最理想的可解释的ML模型。为了帮助ML从业者识别具有此Rashomon集合中理想属性的模型,我们开发了Timbertrek,这是第一个交互式可视化系统,该系统总结了数千个稀疏决策树的规模。两种用法方案突出了Timbertrek如何使用户能够轻松探索,比较和策划与域知识和价值观保持一致的模型。我们的开源工具直接在用户的计算笔记本和Web浏览器中运行,从而降低了创建更负责任的ML模型的障碍。Timbertrek可在以下公共演示链接中获得:https://poloclub.github.io/timbertrek。
translated by 谷歌翻译
机器学习(ML)可解释性技术可以揭示数据中的不良模式,这些模型模型开发以做出预测 - 一旦部署就会​​造成危害。但是,如何采取行动解决这些模式并不总是很清楚。在ML与人类计算机互动研究人员,医师和数据科学家之间的合作中,我们开发了GAM Changer,这是第一个互动系统,可帮助域专家和数据科学家轻松,负责任地编辑通用的添加剂模型(GAM)和修复有问题的模式。借助新颖的交互技术,我们的工具将可解释性置于行动中 - 使用户能够分析,验证和使模型行为与知识和价值相结合。医师已经开始使用我们的工具来调查和修复肺炎和败血症的风险预测模型,以及在不同领域工作的7位数据科学家的评估突出显示我们的工具易于使用,满足他们的模型编辑需求,并适合他们当前的工作流程。我们的工具以现代网络技术为基础,在用户的网络浏览器或计算笔记本电脑中本地运行,从而降低了使用的障碍。 GAM Changer可在以下公共演示链接中获得:https://interpret.ml/gam-changer。
translated by 谷歌翻译
随着机器学习(ML)系统变得越来越普遍,有必要在部署之前审核这些系统的偏见。最近的研究开发了算法,以有效地以可解释的,表现不佳的数据(或切片)的形式有效地识别相互偏见。但是,这些解决方案及其见解是有限的,而没有用于视觉理解和与这些算法结果相互作用的工具。我们提出了Visual Auditor,这是一种交互式可视化工具,用于审核和汇总模型偏差。视觉审核员通过提供可解释的交叉偏差概述(检查由多个功能定义的人群,有问题的数据切片之间的关系以及在模型中表现不佳和表现表现不佳之间的比较之间存在的详细信息)来协助模型验证。我们的开源工具直接在计算笔记本和Web浏览器中运行,使模型审核可访问并易于集成到当前的ML开发工作流中。一项与Fiddler AI的域专家合作的观察用户研究强调,我们的工具可以帮助ML实践者识别和理解模型偏见。
translated by 谷歌翻译
最近在可解释的机器学习中的进展(ML)研究表明,模型利用数据中的不良模式来进行预测,这可能导致部署危害。但是,尚不清楚我们如何解决这些模型。我们介绍了我们正在进行的工作,游戏改变者,一个开源交互式系统,以帮助数据科学家和领域专家轻松且负责任地编辑其广义添加剂模型(Gams)。通过新颖的可视化技术,我们的工具将可解释性投入到行动 - 使人类用户能够分析,验证和对齐模型行为与他们的知识和价值。使用现代Web技术建造,我们的工具在用户的计算笔记本或Web浏览器中在本地运行,而无需额外计算资源,降低屏障以创建更负责的ML模型。Gam更换器可在https://interpret.ml/gam-changer中获得。
translated by 谷歌翻译
随着基于图像的二进制表示,计算机视觉在自动化恶意软件检测中起着越来越重要的作用。这些二进制图像快速生成,不需要功能工程,并且对流行的混淆方法有弹性。但是,在该领域进行了重大研究,但是它仅限于仅少数行业实验室和研究团队可以使用的小型或私人数据集。这种缺乏可用性阻碍了对现有工作的研究,新研究的发展以及思想的传播。我们发布了最大的公共网络安全图像数据库Malnet-Image,比现有数据库多24倍的图像和70倍的类别(可在https://mal-net.org上获得)。 Malnet-图像包含超过120万张恶意软件图像 - 遍及47种类型和696个家庭 - 通过使研究人员和实践者能够评估以前在礼节环境中报道的技术来使基于图像的恶意软件能力民主化。我们在二进制图像上报告了第一个百万尺度的恶意软件检测结果。 MALNET-IMAGE解锁了新的独特机会,可以推进机器学习的前沿,从而使新的研究方向可以进入基于视觉的网络防御,多类不平衡分类和可解释的安全性。
translated by 谷歌翻译
随着图形表示学习的快速出现,新的大规模数据集的构建是区分模型能力,并准确评估每种技术的优点和弱点。通过仔细分析现有的图形数据库,我们确定了3个关键组件,对于推进图形表示学习领域迄今为止,没有单图数据库提供所有这些所需的属性。我们介绍了Malnet,是有史以来的最大的公共图表数据库,代表了恶意软件功能调用图的大规模本体。 MALNET包含超过120万个图表,平均超过15k节点和35k边缘,横跨47种类型和696个系列的层次结构。与流行的Reddit-12K数据库相比,MARNET提供了105倍的图表,平均较大的图39倍,课程更多63倍。我们对Malnet进行了详细的分析,讨论了其性质和出处,以及最先进的机器学习和图形神经网络技术的评估。 MARNET的前所未有的规模和多样性提供了令人兴奋的机会,推动图形表示学习的前沿 - 使新发现和研究进入不平衡的分类,解释性和阶级硬度的影响。数据库在www.mal-net.org上公开提供。
translated by 谷歌翻译
近年来,机器学习(ML)在化学信息学和电子结构理论领域中广受欢迎。这些技术通常需要研究人员来设计摘要的“特征”,这些特征将化学概念编码为与机器学习模型的输入兼容的数学形式。但是,没有现有的工具可以将这些抽象功能连接回实际的化学系统,从而使诊断失败并建立有关功能含义的直觉变得困难。我们提出了Electrolens,这是一种新的可视化工具,用于高维空间分辨的特征,以解决此问题。该工具通过一系列链接的3D视图和2D图可视化原子和电子环境特征的高维数据集。该工具能够通过交互式选择在3D中连接不同的派生功能及其相应区域。它的构建是可扩展的,并与现有基础架构集成。
translated by 谷歌翻译
Image-text multimodal representation learning aligns data across modalities and enables important medical applications, e.g., image classification, visual grounding, and cross-modal retrieval. In this work, we establish a connection between multimodal representation learning and multiple instance learning. Based on this connection, we propose a generic framework for constructing permutation-invariant score functions with many existing multimodal representation learning approaches as special cases. Furthermore, we use the framework to derive a novel contrastive learning approach and demonstrate that our method achieves state-of-the-art results on a number of downstream tasks.
translated by 谷歌翻译
To meet the fairly high safety and reliability requirements in practice, the state of health (SOH) estimation of Lithium-ion batteries (LIBs), which has a close relationship with the degradation performance, has been extensively studied with the widespread applications of various electronics. The conventional SOH estimation approaches with digital twin are end-of-cycle estimation that require the completion of a full charge/discharge cycle to observe the maximum available capacity. However, under dynamic operating conditions with partially discharged data, it is impossible to sense accurate real-time SOH estimation for LIBs. To bridge this research gap, we put forward a digital twin framework to gain the capability of sensing the battery's SOH on the fly, updating the physical battery model. The proposed digital twin solution consists of three core components to enable real-time SOH estimation without requiring a complete discharge. First, to handle the variable training cycling data, the energy discrepancy-aware cycling synchronization is proposed to align cycling data with guaranteeing the same data structure. Second, to explore the temporal importance of different training sampling times, a time-attention SOH estimation model is developed with data encoding to capture the degradation behavior over cycles, excluding adverse influences of unimportant samples. Finally, for online implementation, a similarity analysis-based data reconstruction has been put forward to provide real-time SOH estimation without requiring a full discharge cycle. Through a series of results conducted on a widely used benchmark, the proposed method yields the real-time SOH estimation with errors less than 1% for most sampling times in ongoing cycles.
translated by 谷歌翻译
The proliferation of smartphones has accelerated mobility studies by largely increasing the type and volume of mobility data available. One such source of mobility data is from GPS technology, which is becoming increasingly common and helps the research community understand mobility patterns of people. However, there lacks a standardized framework for studying the different mobility patterns created by the non-Work, non-Home locations of Working and Nonworking users on Workdays and Offdays using machine learning methods. We propose a new mobility metric, Daily Characteristic Distance, and use it to generate features for each user together with Origin-Destination matrix features. We then use those features with an unsupervised machine learning method, $k$-means clustering, and obtain three clusters of users for each type of day (Workday and Offday). Finally, we propose two new metrics for the analysis of the clustering results, namely User Commonality and Average Frequency. By using the proposed metrics, interesting user behaviors can be discerned and it helps us to better understand the mobility patterns of the users.
translated by 谷歌翻译